Calibración sin entrenamiento para MoE: evitando ruptura de enrutamiento
Descubre cómo HARC corrige la ruptura de enrutamiento en MoE fusionados sin entrenamiento, usando curvatura hessiana. Ideal para razonamiento y código.
#modelos de lenguaje grande
Expresión fiel de confianza en modelos de razonamiento grandes
¿Los modelos de razonamiento grandes expresan su confianza de forma fiel? Cuantificamos la calibración entre incertidumbre interna y verbalizada, revelando desa
SEFT: Ajuste fino disperso para LLMs con evolución de la dispersión
Descubre SEFT, un método de ajuste fino que permite a los LLMs dispersos evolucionar su estructura manteniendo eficiencia. Supera a métodos existentes.
MIND: Marco de razonamiento discriminativo integrado para modelos multimodales
MIND: nuevo marco de razonamiento activo para modelos multimodales. Emula el proceso humano entender-repensar-corregir. Logra SOTA.
RTX Spark: laptops básicas o estaciones premium?
RTX Spark de Nvidia divide el mercado de PC con IA: laptops básicas vs estaciones premium. Descubre su impacto y precio.
dLLM-Cache: Caché Adaptativa para Modelos de Lenguaje con Difusión
dLLM-Cache acelera hasta 9x modelos de difusión con caché adaptativa, sin entrenamiento y con latencia cercana a modelos autoregresivos.
Ajuste de instrucción visual alinea modalidades por abstracción
Descubre cómo el ajuste visual alinea imágenes y texto en modelos de lenguaje, optimizando el rendimiento multimodal sin aumentar el tiempo de entrenamiento.
Adversarial ML para LLMs: ¿sin avance real?
El Adversarial ML para LLMs no progresa: problemas vagos, complejos y difíciles de medir. Conoce las razones y el riesgo de una década perdida.
Predicción rápida y expresiva de múltiples bytes con circuitos probabilísticos
Descubre cómo MTPC acelera LLMs con circuitos probabilísticos, logrando rapidez y expresividad sin pérdida de calidad.
Filtrar, luego repesar: Nueva granularidad en destilación on-policy
FiRe-OPD mejora la destilación on-policy con filtrado de trayectorias y repesado suave de tokens. Obtén +6.25 en AIME 2024 y +18.81 en Miner ¡Optimiza tus LLMs!
Modelo de Bytes Grandes: Enseñanza a LLMs de Código Compilado
Descubre el primer LLM nativo en bytes que analiza malware directamente desde código compilado, con hasta 98% de precisión en clasificación de arquitecturas.
Optimización eficiente de hiperparámetros para RL en LLMs
Descubre cómo JF-HPO optimiza hiperparámetros en RL para LLMs, logrando hasta 14.9x más eficiencia y mejoras de rendimiento del 5.8% al 111.6%.
Float8@2bits: compresión de modelos sin datos vía codificación de entropía
EntQuant comprime modelos de 70B parámetros en solo 10 minutos sin datos de calibración, alcanzando SOTA en compresión extrema a 2 bits con codificación de entropía.
SALAAD: Adaptación dispersa y de bajo rango con ADMM para inferencia de LLM
Descubre cómo SALAAD reduce el consumo de memoria en modelos de lenguaje grandes usando estructuras dispersas y de bajo rango, permitiendo un despliegue flexible sin reentrenamiento.
IAPO: Optimización de Políticas Informada para Razonamiento Eficiente en Tokens
Descubre IAPO: asigna ventajas a cada token según información mutua. Reduce razonamiento hasta 36% sin perder precisión. Optimiza tus modelos de lenguaje.
El problema del auto-bloqueo de información en RL para agentes LLM
Descubre cómo el auto-bloqueo de información afecta el razonamiento activo de agentes LLM y cómo el método AREW lo mitiga, logrando mejoras de hasta 60 puntos.
ShapeLib: Diseñando bibliotecas de abstracciones 3D con LLMs
Descubre cómo ShapeLib usa LLMs para crear bibliotecas de abstracciones de formas 3D. Generalización, edición y generación.
Moderación eficiente de LLMs con prototipos latentes multicapa
MLPM, moderador ligero basado en prototipos latentes multicapa, mejora la seguridad de LLMs sin sacrificar eficiencia. Ideal para despliegues personalizados.
GFlowGR: Optimización de Sistemas de Recomendación Generativos con GFlowNets
GFlowGR utiliza GFlowNets para ajustar sistemas de recomendación, mitigando el sesgo de exposición. Mejora diversidad y precisión. Optimiza tu modelo.
Destilación de Grandes Modelos de Lenguaje con Puntuación Concreta
Descubre CSD, técnica de destilación que evita suavizado softmax y optimiza logits, mejorando modelos de lenguaje grandes. Ideal para IA eficiente.